Jolie telah melalui dua perkahwinan iaitu dengan pelakon-pelakon Johnny Lee Miller pada 1995 dan Billie Bob Thornton pada tahun 2000 dan seelan pro .Beliau agak malang kerana tidak dianugerahkan cahaya mata.

Sewaktu masih berkahwin dengan Billie Bob Thornton, beliau telah mengambil keputusan untuk mengambil seorang anak angkat. Oleh itu pada 10 Mac 2002, beliau telah mengambil anak angkatnya yang pertama bernama Maddox yang dilahirkan di Kemboja. Maddox telah memberi harapan yang baru kepada beliau, namun ia telah menyebabkan perselisihan faham dengan bapanya. Bapanya terkilan kerana Jolie telah merahsiakan pengambilan anak angkatnya itu, seolah-olah ingin menjauhkan "anaknya" daripadanya. Pada Julai tahun yang sama, Jolie telah meminta untuk menggugurkan nama bapanya iaitu Voight secara sah.

Disamping itu, perhubungan dengan suaminya juga semakin renggang. Sewaktu sibuk melaksanakan tugas kemanusiaannya di merata dunia, Billie pula ingin menceburi semula bidang musik. Pada 27 Mei 2003, Jolie telah bercerai dengan suaminya yang kedua. Selepas bercerai, Jolie telah mengambil seorang anak angkat perempuan bernama Sahara daripada Habsyah.

Sewaktu pengfileman Mr & Mrs Smith, Jolie mula intim dengan pelakon gandingannya iaitu Brad Pitt. Brad Pitt yang pada ketika itu masih berkahwin dengan Jennifer Aniston begitu menyayanginya sehinggakan sanggup bercerai dengan isterinya. Terdapat khabar angin yang menyatakan beliau dan Brad Pitt telah berkahwin secara senyap pada November 2005 dalam satu majlis perkahwinan adat agama Buddha kerana Jolie adalah penganut Buddha yang kuat. Namun khabar ini telah dinafikan oleh Brad Pitt. Kemudian pada Januari 2006 cerita baru telah disebarkan iaitu Jolie sedang mengandung anak kelahirannya. Pada bulan Mac tahun yang sama beliau selamat melahirkan anaknya yang pertama, seorang bayi perempuan yang diberi nama Shiloh Nouvel Jolie-Pitt.